Dalam ranah Kecerdasan Buatan, pemodelan sekuens mengalihkan fokus dari cuplikan statis ke aliran temporal. Tugas pembelajaran mesin standar sering mengasumsikan bahwa titik data bersifat Independen dan Terdistribusi Identik (IID), yang berarti urutan sampel tidak memengaruhi hasil.
Pemodelan sekuens secara eksplisit menolak hal ini, dengan berfokus pada tiga pilar utama:
- Pelanggaran Invarian Permutasi: Dalam data tabular, urutan kolom bersifat arbitrer. Dalam sekuens, urutan adalah fitur utama. Menukar "The cat ate the rat" menjadi "The rat ate the cat" secara mendasar mengubah kebenaran semantik dasar meskipun tokennya identik.
- Autoregresif Properti: Kita mengasumsikan bahwa observasi pada waktu $t$ secara matematis dikondisikan pada riwayatnya ($t-1, t-2, \dots, 1$). Hal ini memerlukan probabilitas transisi untuk menangkap bagaimana informasi berkembang.
- Pemetaan Panjang Variabel: Berbeda dengan grid piksel 28x28 yang tetap, sekuens seperti kalimat atau gelombang seismik bersifat elastis. Model harus memproses input dengan panjang $N$ dan menghasilkan output dengan panjang $M$ menggunakan parameter yang konsisten.